Can we do that simpler? Simple, Efficient, High-Quality Evaluation Metrics for NLG

We explore efficient evaluation metrics for Natural Language Generation (NLG). To implement efficient metrics, we replace (i) computation-heavy transformers in metrics such as BERTScore, MoverScore, BARTScore, XMoverScore, etc. with lighter versions (such as distilled ones) and (ii) cubic inference time alignment algorithms such as Word Mover Distance with linear and quadratic approximations. We consider six evaluation metrics (both monolingual and multilingual), assessed on three different machine translation datasets, and 16 light-weight transformers as replacement. We find, among others, that (a) TinyBERT shows best quality-efficiency tradeoff for semantic similarity metrics of the BERTScore family, retaining 97\% quality and being 5x faster at inference time on average, (b) there is a large difference in speed-ups on CPU vs. GPU (much higher speed-ups on CPU), and (c) WMD approximations yield no efficiency gains but lead to a substantial drop in quality on 2 out of 3 datasets we examine.Comment: Work in progres

Opinion Monitor for Development Policy 2021: Media content, information, appeals and their impact on public opinion

The DEval Opinion Monitor 2021 examines five key questions: (1) How often and in what way does the media report on the topic of development policy? (2) What impact do arguments for and against development cooperation used in the media have on the general public’s attitude towards the topic? (3) What impact does information on the effectiveness of development cooperation projects have on attitudes towards the topic? (4) What role do moral arguments and various foundations of morality play in attitudes towards the topic? (5) What expectations do citizens have of development cooperation? The report also explores how public opinion on development policy and on specific development policy measures has developed during the coronavirus pandemic. Therefor, the DEval Opinion Monitor 2021 gives development policy decision-makers feedback on the general public’s attitudes to development policy. The publication follows the Opinion Monitor for Development Policy 2018 and the Opinion Monitor for Development Policy 2019, which examined attitudes towards development cooperation and sustainable development in Germany (2018) and media use with a focus on international reporting and global poverty (2019)

The Public's Expectations of Development Policy: Findings of the DEval Opinion Monitor for Development Policy 2021

This policy brief summarises the findings of the DEval Opinion Monitor for Development Policy 2021. It investigated which partner countries the general public perceives as particularly worthy of support and what socioeconomic and political characteristics of the countries are associated with this perception

Meinungsmonitor Entwicklungspolitik 2021: Medieninhalte, Informationen, Appelle und ihre Wirkung auf die öffentliche Meinung

Der DEval-Meinungsmonitor 2021 befasst sich mit fünf zentralen Fragestellungen: (1) Wie häufig und wie wird über das Themenfeld Entwicklungspolitik in den Medien berichtet? (2) Welche Wirkung haben in den Medien genutzte Argumente für und gegen EZ auf die Einstellung der Bevölkerung zum Themenfeld? (3) Welche Wirkung haben Informationen zur Wirksamkeit von EZ-Projekten auf die Einstellung zum Themenfeld? (4) Welche Rolle spielen moralische Argumente und verschiedene Dimensionen von Moral für die Einstellung zum Themenfeld? (5) Welche Erwartungen haben die Bürger*innen an die EZ? Darüber hinaus wird beleuchtet, wie sich die öffentliche Meinung zu Entwicklungspolitik und zu konkreten entwicklungspolitischen Maßnahmen während der Corona-Pandemie entwickelt hat. Damit liefert dieser Bericht entwicklungspolitischen Entscheidungsträger*innen Orientierungswissen, um das Politikfeld und die Kommunikation mit der Bevölkerung auf Basis solider Informationen zu gestalten. Die Publikation schließt an den Meinungsmonitor Entwicklungspolitik 2018 und den Meinungsmonitor Entwicklungspolitik 2019 an, in denen die Einstellung der Bevölkerung zu EZ und nachhaltiger Entwicklung (2018) beziehungsweise die Mediennutzung mit Blick auf internationale Nachrichten und weltweite Armut (2019) untersucht wurden

Die Erwartungen der Bevölkerung an Entwicklungspolitik: Ergebnisse des DEval-Meinungsmonitors Entwicklungspolitik 2021

Diese DEval-Publikation fasst die Ergebnisse des DEval-Meinungsmonitors Entwicklungspolitik 2021 zusammen. Dabei wurde untersucht, welche Partnerländer die Bevölkerung als besonders unterstützenswert erachtet und an welchen sozioökonomischen und politischen Merkmalen der Länder sie dies festmacht

Meinungsmonitor Entwicklungspolitik 2022: Entwicklungspolitisches Engagement in Zeiten globaler Krisen und Herausforderungen

Der Meinungsmonitor Entwicklungspolitik 2022 umfasst zwei Themenblöcke: Im ersten Teil werden zentrale Einstellungen der Bevölkerung zu Entwicklungspolitik untersucht. Behandelt werden unter anderem die generelle Unterstützung für staatliche Entwicklungszusammenarbeit (EZ), die Einstellung zu verschiedenen Motiven für EZ sowie die Einschätzung ihrer Wirksamkeit. Besondere Aufmerksamkeit gilt Einstellungen zu Demokratie und Demokratieförderung. Im zweiten Teil steht das entwicklungspolitische Engagement im Fokus: einerseits nicht-monetäres Engagement wie informations- und kommunikationsbezogene Aktivitäten, organisationsbezogenes Engagement und politische Partizipation, andererseits monetäres Engagement wie Spenden an entwicklungspolitische Organisationen und nachhaltiger Konsum. Ergänzt wird der zweite Teil durch einen Gastbeitrag, in dem die verschiedenen Engagementformen zu einer Typologie zusammengefasst und Einflussfaktoren auf den Wechsel zwischen Engagementtypen im Zeitverlauf analysiert werden. In beiden Teilen werden die Indikatoren für Einstellungen und Engagement (längsschnittlich) dargestellt und auf Unterschiede zwischen verschiedenen Bevölkerungsgruppen hin untersucht. Abschließend werden Implikationen für staatliche und zivilgesellschaftliche entwicklungspolitische Akteure zur Strategie-, Kommunikations- und Bildungsarbeit sowie zur Förderung des entwicklungspolitischen Engagements formuliert

Meinungsmonitor Entwicklungspolitik 2019 - Medien, Mediennutzung und Berichterstattung zu weltweiter Armut

Gezielte fakten- und evidenzbasierte Kommunikation zu Entwicklungspolitik, Entwicklungszusammenarbeit und globaler nachhaltiger Entwicklung benötigt verlässliche empirische Informationen zum Mediennutzungsverhalten der Bevölkerung. Hierzu zählen generelle Mediennutzung, Nachrichtenquellen (insbesondere zu internationalen Themen) und Kontaktpunkte zum für die Entwicklungspolitik zentralen Thema "weltweite Armut", aber auch Vertrauen in die Medien, die Wahrnehmung der medialen Berichterstattung sowie Unterschiede zwischen entwicklungspolitischen Einstellungstypen. Der vorliegende Bericht stellt Akteuren im staatlichen und zivilgesellschaftlichen Entwicklungsbereich diese Informationen zur Verfügung

iWindow - Intelligentes Maschinenfenster

Das Verbundforschungsprojekt iWindow: Intelligentes Maschinenfenster beschäftigte sich mit der visuellen Unterstützung von Maschinenbedienern an Werkzeugmaschinen. Diese konnten bisher nur auf wenige bis keine Systeme, die sie bei ihren täglichen Aufgaben direkt an der Werkzeugmaschine unterstützen, zurückgreifen. Das Forschungsprojekt verbindet reale und virtuelle Welt in der Werkzeugmaschine durch Technologien wie Virtual und Augmented Reality, digitaler Zwilling, Simulation und Mehrwertdienste. Durch Nutzung jeweils für die aktuelle Arbeitssituation passender Dienste, werden Mitarbeiter befähigt, sich an die steigende Individualisierung der Produkte und die flexiblere Produktion anzupassen. Kunden und Geschäftspartner werden durch die Möglichkeit eigene mehrwertgenerierende Dienste zu entwickeln und anderen Anwendern zur Verfügung zu stellen in den Wertschöpfungsprozess eingebunden. Diese Publikation beleuchtet die im Rahmen des Forschungsprojekts erarbeiteten Ergebnisse hinsichtlich für ein intelligentes Maschinenfenster benötigter Technologien und Entwicklungen